# 阶段性测试，按照步骤完成相应网站的数据采集
# ------------测试1---------------------
# 待爬取的网站：https://www.qidian.com/all/

# 1、导入头文件
import requests
from lxml import etree
url = 'https://www.qidian.com/all/'
for x in range(1,6):
    url = 'https://www.qidian.com/all/page'+ str(x)
    res = requests.get(url)
    # 2、向网站服务器发起请求，并打印出状态码
    print(res.status_code)
    html = res.text
    ehtml = etree.HTML(html)
    # 3、打印该页面的html代码
    # print(html)
    # 4、解析当前网页中的小说标题并打印出来
    xtitle = ehtml.xpath("//h4/a/text()")
    print(xtitle)
    # 5、解析当前网页中的小说作者并打印出来
    xtitle = ehtml.xpath("//p[@class='author']/a[1]/text()")
    print(xtitle)
    # 6、解析当前网页中的小说类型并打印出来
    xtitle = ehtml.xpath("//p[@class='author']/a[2]/text()")
    print(xtitle)